Sau khi phát hành, "By the Grace of God" đã nhận được những đánh giá tích cực. Jason Lipshutz từ Billboard nghĩ rằng bài hát này "rõ ràng không phải là người hâm mộ giá vé radio được sử dụng từ ngôi sao nhạc pop (Perry)", nhưng nó "rất quan trọng đối với bất kỳ ai cố gắng hiểu tâm trí Prism của Perry".[9] Philip Matusavage từ musicOMH coi rằng "thực tế rằng [" By the Grace of God "] là điểm nổi bật của album và là bài hát duy nhất được viết bởi ít hơn ba người" là một chỉ báo về những gì Perry nên làm tiếp theo.[13] Greg Kot từ Chicago Tribune đánh giá cao "Ghost" và "By the Grace of God" vì đã cho phép lỗ hổng của Perry "thấm qua".[14] Trong bài đánh giá về Prism, Sam Lansky từ Idolator cho thấy mình bị chia rẽ tương đối với bài hát: anh ấy đã phân loại nó là "thứ thông thường nhất [trong album]" mặc dù anh ấy ngay lập tức tuyên bố đó là "cũng là thứ hấp dẫn nhất về mặt cảm xúc" trong đó.[15]

Randall Roberts từ Los Angeles Times đã khẳng định rằng bài hát này là "vũ trụ" và nó có "tiếng vo ve, căng thẳng tối tăm trong đó Perry và giai điệu nổi như những quả bóng bay màu đỏ".[16] Helen Brown từ tờ Daily Telegraph tuyên bố rằng, trong bài hát, Perry "nghe giống như một người phụ nữ và một nghệ sĩ, người cuối cùng đã tìm thấy chính mình".[17] Allison Stewart từ The Washington Post nói rằng "By the Grace of God" xếp hạng "trong số những bài hát mạnh nhất của Perry", và đó là "bài hát nhạy cảm và ảnh hưởng kỳ lạ nhất của cô ấy từ trước đến nay, một bài hát khiến cô ấy xa cách - xem xét các đồng nghiệp và cũng từ Thương hiệu ".[18] John Walker từ MTV nhấn mạnh thực tế rằng bài hát "nhẹ về số liệu của lời nói và các bình luận quá dễ tiếp cận", so với các ẩn dụ có trong lời bài hát " Wide Awake ".[6]

Ngược lại, Sal Cinquemani từ Tạp chí Slant mô tả nó là "một tuyên bố tự phong cách Paula Cole vui vẻ ".[19] Jon Dolan từ Rolling Stone chỉ trích lời bài hát của nó và tiêu cực so sánh chúng với Alanis Morissette.[20] Kitty Empire từ The Guardian đã tìm thấy bài hát "được cưỡi với những lời sáo rỗng".[21] Mesfin Fekadu từ ABC News nghĩ rằng cả hai bài hát đều "hay", nhưng tuyên bố rằng họ "có thể tuyệt vời nếu Perry không giữ lại và khám phá nhiều hơn về ngôn từ và âm thanh".[22] Chris Bosman từ Kết quả âm thanh đã chỉ trích vị trí của nó trong danh sách ca khúc của album và nghĩ rằng họ "sẽ nổi bật hơn nếu họ ('By The Grace of God', và bài hát kết thúc 'Double Rainbow') đã bị buộc phải cọ xát khuỷu tay, do đó đánh cắp động lượng và tác động lẫn nhau ". Carl Williott từ Idolator đã ca ngợi ca khúc này là "đối trọng tốt với Roar ".[23]